作为一个与现实世界互动的虚拟世界,元媒体封装了我们对下一代互联网的期望,同时带来了新的关键绩效指标(KPIS)。常规的超级可靠和低延迟通信(URLLC)可以满足绝大多数客观服务KPI,但是很难为用户提供个性化的荟萃服务体验。由于提高经验质量(QOE)可以被视为当务之急的KPI,因此URLLC朝向下一代URLLC(XURLLC),以支持基于图形技术的荟萃分析。通过将更多资源分配给用户更感兴趣的虚拟对象,可以实现更高的QoE。在本文中,我们研究了元服务提供商(MSP)和网络基础架构提供商(INP)之间的相互作用,以部署Metaverse Xurllc服务。提供了最佳合同设计框架。具体而言,将最大化的MSP的实用程序定义为元用户的QOE的函数,同时确保INP的激励措施。为了建模Metaverse Xurllc服务的Qoe,我们提出了一个名为Meta Immersion的新颖指标,该指标既包含了客观网络KPI和元用户的主观感觉。使用用户对象注意级别(UOAL)数据集,我们开发并验证了注意力吸引人的渲染能力分配方案以改善QOE。结果表明,与常规的URLLC相比,Xurllc平均提高了20.1%的QoE改善。当总资源有限时,QoE改进的比例较高,例如40%。
translated by 谷歌翻译
由于其高识别精度,包括移动设备的面部解锁,社区访问控制系统和城市监视,因此在许多领域都使用了面部识别技术。由于非常深的网络结构可以保证当前的高精度,因此通常需要将面部图像传输到具有高计算能力以进行推理的第三方服务器。但是,面部图像在视觉上揭示了用户的身份信息。在此过程中,不受信任的服务提供商和恶意用户都可以显着增加个人隐私漏洞的风险。当前的隐私识别方法通常伴随着许多副作用,例如推理时间的显着增加或明显的识别准确性下降。本文提出了使用频域中使用差异隐私的保护隐私面部识别方法。由于利用了差异隐私,它在理论上提供了隐私的保证。同时,准确性的丧失非常小。该方法首先将原始图像转换为频域,并删除称为DC的直接组件。然后,可以根据差异隐私框架内的后端面部识别网络的丢失来学习隐私预算分配方法。最后,它为频域特征添加了相应的噪声。根据广泛的实验,我们的方法在几个经典的面部识别测试集中表现出色。
translated by 谷歌翻译
单光子发射计算机断层扫描(SPECT)是一种广泛应用的成像方法,用于诊断冠状动脉疾病。从计算机断层扫描(CT)得出的衰减图(U-MAP)用于衰减校正(AC),以提高心脏SPECT的诊断准确性。但是,SPECT和CT是在临床实践中依次获得的,这可能会导致两项扫描之间的误会。卷积神经网络(CNN)是医疗图像注册的强大工具。先前基于CNN的跨模式注册方法直接串联了两个输入模态作为早期特征融合或使用两个单独的CNN模块提取的图像特征,以进行晚期融合。这些方法不能完全提取或融合交叉模式信息。此外,以前尚未对心脏SPECT和CT衍生的U-MAP的深度学习刚性注册进行研究。在本文中,我们提出了一个双分支挤压融合 - 兴奋(DUSFE)模块,用于对心脏SPECT和CT衍生的U-MAP的注册。 Dusfe融合了从多种模态的知识,以重新校准每种模式的通道和空间特征。 Dusfe可以嵌入多个卷积层,以在不同的空间尺寸下实现特征融合。我们使用临床数据的研究表明,嵌入DUSFE的网络比以前的方法产生了较低的注册误差,因此更准确的AC SPECT图像。
translated by 谷歌翻译
$ k $ -means集群是各学科的基本问题。此问题是非核解,并且标准算法仅保证找到本地最佳算法。利用[1]的本地解决方案的结构,我们提出了一种用于逃离不良局部解决方案并恢复全球解决方案(或地面真理)的一般算法框架。该框架包括迭代:(i)在本地解决方案中检测MIS指定的群集,并通过非本地操作来改进当前本地解决方案。我们讨论这些步骤的实施,并阐明所提出的框架如何从几何视角统一文献中的k $ -means算法的变体。此外,我们介绍了所提出的框架的两个自然扩展,其中初始数量的群集被遗漏。我们为我们的方法提供了理论理的理由,这是通过广泛的实验证实的。
translated by 谷歌翻译
In this work, we propose a novel image reconstruction framework that directly learns a neural implicit representation in k-space for ECG-triggered non-Cartesian Cardiac Magnetic Resonance Imaging (CMR). While existing methods bin acquired data from neighboring time points to reconstruct one phase of the cardiac motion, our framework allows for a continuous, binning-free, and subject-specific k-space representation.We assign a unique coordinate that consists of time, coil index, and frequency domain location to each sampled k-space point. We then learn the subject-specific mapping from these unique coordinates to k-space intensities using a multi-layer perceptron with frequency domain regularization. During inference, we obtain a complete k-space for Cartesian coordinates and an arbitrary temporal resolution. A simple inverse Fourier transform recovers the image, eliminating the need for density compensation and costly non-uniform Fourier transforms for non-Cartesian data. This novel imaging framework was tested on 42 radially sampled datasets from 6 subjects. The proposed method outperforms other techniques qualitatively and quantitatively using data from four and one heartbeat(s) and 30 cardiac phases. Our results for one heartbeat reconstruction of 50 cardiac phases show improved artifact removal and spatio-temporal resolution, leveraging the potential for real-time CMR.
translated by 谷歌翻译
运动补偿的MR重建(MCMR)是一个强大的概念,具有巨大的潜力,由两个耦合的子问题组成:运动估计,假设已知图像和图像重建,假设已知运动。在这项工作中,我们为MCMR提出了一个基于学习的自我监督框架,以有效处理心脏MR成像中的非刚性运动腐败。与传统的MCMR方法相反,在重建之前估算运动并在迭代优化过程中保持不变,我们引入了动态运动估计过程,并将其嵌入到独立的优化中。我们建立了一个心脏运动估计网络,该网络通过小组的注册方法利用时间信息,并在运动估计和重建之间进行联合优化。在40个获得的2D心脏MR CINE数据集上进行的实验表明,所提出的展开的MCMR框架可以在其他最先进的方法失败的情况下以高加速度速率重建高质量的MR图像。我们还表明,关节优化机制对两个子任务(即运动估计和图像重建)都是互惠互利的,尤其是当MR图像高度不足时。
translated by 谷歌翻译
我们考虑一个设置机器人团队的任务是跟踪以下属性的多个目标:接近目标可以实现更准确的目标位置估计,同时也增加了传感器故障的风险。因此,要解决跟踪质量最大化和风险最小化之间的权衡至关重要。在我们以前的工作中,开发了一个集中式控制器来规划所有机器人的动作 - 但是,这不是可扩展的方法。在这里,我们提出了一个分散且具有风险的多目标跟踪框架,在该框架中,每个机器人都计划其运动交易的跟踪准确性最大化和厌恶风险,同时仅依靠其与邻居交流的信息和信息。我们使用控制屏障函数来保证整个跟踪过程中的网络连接。广泛的数值实验表明,我们的系统可以达到与集中式同行相似的跟踪准确性和风险意识。
translated by 谷歌翻译
对于视网膜图像匹配(RIM),我们提出了SuperRetina,这是第一个具有可训练的键盘检测器和描述符的端到端方法。 SuperRetina以一种新颖的半监督方式接受了训练。一小部分(近100张)图像未完全标记,并用于监督网络以检测血管树上的关键点。为了攻击手动标记的不完整性,我们提出了进行性逐步扩展,以丰富每个训练时期的关键点标签。通过利用基于关键的改进的三重态损失作为描述损失,超级逆局以完全输入图像大小产生高度歧视性描述符。在多个现实世界数据集上进行了广泛的实验证明了超级丽菌的生存能力。即使手动标记被自动标记取代,因此使训练过程完全免费手动通道,超级retina也可以与多个强大的基线进行比较,以进行两个RIM任务,即图像注册和身份验证。 SuperRetina将是开源。
translated by 谷歌翻译
随着面部识别系统的广泛应用,人们担心原始的面部图像可能会暴露于恶意意图并因此导致个人隐私漏洞。本文介绍了Duetface,这是一种新型的隐私面部识别方法,该方法采用了频域中的协作推断。从违反直觉的发现开始,即面部识别只能通过视觉上无法区分的高频通道就可以实现出人意料的良好性能,此方法通过其可视化的关键性设计了可信的频道划分,并在非重要通道上操作服务器端模型。但是,由于缺少的视觉信息,该模型在注意力特征上的注意力降低了。为了补偿,该方法引入了插件交互式块,以通过产生功能掩码来从客户端转移注意力。通过得出和覆盖感兴趣的面部区域(ROI),进一步完善了面具。在多个数据集上进行的广泛实验验证了所提出的方法在保护面部图像免受不希望的视觉检查,重建和识别的同时保持高任务可用性和性能的有效性。结果表明,所提出的方法实现了对未受保护的弧形的可比识别精度和计算成本,并优于最先进的隐私保护方法。源代码可在https://github.com/tencent/tcace/tree/master/recognition/tasks/duetface上获得。
translated by 谷歌翻译
Masked image modeling (MIM) performs strongly in pre-training large vision Transformers (ViTs). However, small models that are critical for real-world applications cannot or only marginally benefit from this pre-training approach. In this paper, we explore distillation techniques to transfer the success of large MIM-based pre-trained models to smaller ones. We systematically study different options in the distillation framework, including distilling targets, losses, input, network regularization, sequential distillation, etc, revealing that: 1) Distilling token relations is more effective than CLS token- and feature-based distillation; 2) An intermediate layer of the teacher network as target perform better than that using the last layer when the depth of the student mismatches that of the teacher; 3) Weak regularization is preferred; etc. With these findings, we achieve significant fine-tuning accuracy improvements over the scratch MIM pre-training on ImageNet-1K classification, using all the ViT-Tiny, ViT-Small, and ViT-base models, with +4.2%/+2.4%/+1.4% gains, respectively. Our TinyMIM model of base size achieves 52.2 mIoU in AE20K semantic segmentation, which is +4.1 higher than the MAE baseline. Our TinyMIM model of tiny size achieves 79.6% top-1 accuracy on ImageNet-1K image classification, which sets a new record for small vision models of the same size and computation budget. This strong performance suggests an alternative way for developing small vision Transformer models, that is, by exploring better training methods rather than introducing inductive biases into architectures as in most previous works. Code is available at https://github.com/OliverRensu/TinyMIM.
translated by 谷歌翻译